El modelo de ejecución de CUDA transforma tu computadora en un sistema heterogéneo de alto rendimiento. Imagina un Gran Director (el Host/CPU) y un Ejército de miles (el Device/GPU). El Director maneja lógica compleja y toma de decisiones, mientras que el Ejército realiza tareas masivas y repetitivas simultáneamente.

1. La división arquitectónica

El Host es una CPU optimizada para baja latencia, diseñada para flujos de control complejos y tareas secuenciales. Por el contrario, el Device es una GPU optimizada para alto rendimiento, que contiene miles de núcleos simples diseñados para ejecutar la misma instrucción sobre grandes conjuntos de datos simultáneamente.

2. El ritmo de ejecución

Un programa CUDA funciona como una serie de fases. La ejecución comienza en el Host para el "código serial." Cuando el programa encuentra un "Kernel paralelo," lanza un Grid de hilos al Device. El control regresa al Host una vez que el Device termina su carga de trabajo masiva.

3. Especialización de rendimiento

El modelo aprovecha las fortalezas de ambos: la CPU gestiona los recursos del sistema y ramificaciones complejas, mientras que la GPU ejecuta SPMD (Single-Program, Multiple-Data) lógica para procesar elementos de datos en paralelo.